Gedurende vier eeuwen was het dorp Baillonville, met  zijn kasteel, eigendom van de beroemde familie de Waha. Het kasteel werd in het gehucht Rabozée drie keer op een andere plaats heropgebouwd. Jacquemin de Waha, (1371-1411), was waarschijnlijk de bouwer van het eerste kasteel van Baillonville. De familie Waha ligt ook aan de oorsprong van het tweede kasteel, dat tussen 1794 en 1804 verdwijnt.
Het nieuwe kasteel van Baillonville werd gebouwd in empirestijl in het begin van de 19de eeuw door de familie Massange. De familie Massange houdt het kasteel in bezit tot 1958 tot de laatste erfgename het voor een goed doel wegschonk aan de vzw "Don Bosco's Orphan Fund" in Woluwé. Deze vzw verkocht het op 9 juni 1967 aan de heer Swaelens, die het kasteel opdeelde in 13 appartementen.
Het kasteel behoort, samen met de Sint-Hubertuskerk, tot het beschermd erfgoed in het dorp Baillonville.